M$^3$Exam: Benchmarking Multimodal Memory for Realistic User-Agent Interactions
M3Exam：真实用户-智能体交互的多模态记忆基准测试
🧭 多模态长期记忆评估与模态感知检索 ★ 深度解读
The Hong Kong University of Science and Technology · Beijing University of Chemical Technology · Harbin Institute of Technology (Shenzhen) · Beijing Institute of Technology (Zhuhai) · Tencent Hy
首个多会话多模态记忆基准M3Exam及模态感知方法M3Proctor，按需使用原始视觉提升13%准确率且token减少70%以上
📌 工作参考价值（4 点）
- 模态感知级联检索：电商Agent可借鉴M3Proctor的查询模态偏向检测，先用文本替身回答，仅在需要时加载图片/文档，大幅降低多模态推理token成本。
- 记忆索引优化：将图片转为caption、文档转为digest作为文本替代品，并附加模态标签，结合偏向重排序提升跨模态检索精度，适用于多模态商品知识库的RAG。
- 长会话记忆摘要：通过紧凑的session summary维持跨会话线索，帮助电商智能客服在多轮对话中保持用户长期记忆，避免上下文断裂。
- 隐式意图评估设计：引入Implicit Inference和Thematic Reasoning题型，可移植到推荐系统长期用户理解的评测中，检验模型从非明确信息推断偏好与状态的能力。